回帰分析 - 05

傾き,\(\Large \displaystyle \hat{a_1} \),切片,\(\Large \displaystyle \hat{a_0} \),の期待値

各パラメータの分散推定に行く前に,

 期待値

を求めてみましょう.

・期待値の性質

まずは,期待値の性質から,

\(\Large \displaystyle E[aX] = c E[X] \)

\(\Large \displaystyle E[X+c] = E[X] + c\)

\(\Large \displaystyle E[X+Y] = E[X] + E[Y]\)

\(\Large \displaystyle E[XY] = E[X] E[Y] \) (X,Yが無相関な場合)

 

\(\Large \displaystyle \hat{a_1} \),の期待値

まず,\(\Large \displaystyle \hat{a_1} \),の期待値から.

\(\Large \begin{eqnarray} \displaystyle \hat{a_1} &=& a_1 + \frac{\sum_{i=1}^{n} \left(X_i - \bar{X} \right) u_i }{\sum_{i=1}^{n} \left( X_i - \bar{X} \right)^2} \\
&=& a_1 + \sum_{i=1}^{n} \omega_i u_i \\
\end{eqnarray} \)

となるので,

\(\Large \begin{eqnarray} \displaystyle E ( \hat{a_1} ) &=& E \left( a_1 + \sum_{i=1}^{n} \omega_i u_i \right) \\
&=& a_1 + E \left( \sum_{i=1}^{n} \omega_i u_i \right) \\
&=& a_1 + \sum_{i=1}^{n} \omega_i E (u_i) \\
&=& a_1 \\
\end{eqnarray} \)

となります.

 

\(\Large \displaystyle \hat{a_0} \),の期待値

\(\Large \displaystyle \hat{a_0} \),と \(\Large \displaystyle \hat{a_1} \),の関係は,

\(\Large \displaystyle \bar{Y} = a_0 + a_1 \bar{X} + \bar{u} \),  ここから

\(\Large \displaystyle \bar{Y} = \hat{a_0} - \hat{a_1} \bar{X} \),  ここから

から,

\(\Large \displaystyle \hat{a_0} = a_0 - \left( \hat{a_1} - a_1 \right) \bar{X} + \bar{u} \)

となります.期待値は,

\(\Large \begin{eqnarray}\displaystyle E[\hat{a_0}] &=& E \left[a_0 - \left( \hat{a_1} - a_1 \right) \bar{X} + \bar{u} \right] \\
&=& E[ a_0 ] - E \left[ \left( \hat{a_1} - a_1 \right) \bar{X} \right]+ E \left[ \bar{u} \right] \\
&=& E[ a_0 ] - \bar{X} E \left[ \hat{a_1} - a_1 \right]+ E \left[ \bar{u} \right] \\
&=& E[ a_0 ] - \bar{X} E \left[ \hat{a_1} \right] + \bar{X} E \left[ a_1 \right]+ E \left[ \bar{u} \right] \\
&=& a_0 - \bar{X} a_1 + \bar{X} a_1 + 0 \\
&=& a_0 \\
\end{eqnarray} \)

となります,ある意味,当たり前の結果となります.

 

では,いよいよ傾き,\(\Large \displaystyle \hat{a_1} \),の分散を求めていきましょう.

 

l t r